Физико-математические науки 








УДК 519.234.33, 519.676, 519.254 
Т.В. ВАСИЛЬЕВА 


АВТОМАТИЗАЦИЯ ИДЕНТИФИКАЦИИ ЗАКОНОВ РАСПРЕДЕЛЕНИЯ 
НА ОСНОВЕ АППРОКСИМАТИВНОГО АНАЛИЗА 
ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ 


Предложен алгоритм автоматизации идентификации законов распределения на основе аппроксимативного 
анализа экспериментальных данных. Метод основан на разложении эмпирических данных в ряд Фурье в 
пространстве [2 через полиномы Лежандра. Приведены два необходимых и достаточных критерия для авто- 
матического выдвижения гипотезы о законе распределения. Изложенный метод рассмотрен на подробном 
примере, 
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Введение. Статистический анализ получил свое новое развитие с появлением ЭВМ. Компьютери- 
зация статистических исследований, возможности анализа и хранения информации с помощью 
ЭВМ сделали статистический анализ доступным для широкого практического применения в любых 
прикладных отраслях, имеющих дело с большими объемами данных. Все это привело к появлению 
большого количества статистических пакетов на рынке программ. Наилучший выбор статистиче- 
ского пакета зависит от характера решаемых задач, объема, специфики обрабатываемых данных, 
квалификации пользователей и т.д. Каждый пакет содержит набор основных статистических ме- 
тодов, изучаемых в курсах статистического анализа и эконометрики. Специализированные пакеты 
наряду с основными методами реализуют новые методы статистической обработки данных или 
дают более глубокий анализ одного или нескольких методов. Актуальной задачей остается авто- 
матизация новых статистических методов, популяризация их для массового применения, приве- 
дение интерфейсов статистических пакетов к новому уровню удобства использования конечным 
пользователем, разработка алгоритмов, способных реализовать введение интеллектуальной со- 
ставляющей для анализа статистической информации. Одной из таких нерешенных задач являет- 
ся автоматизация выдвижения гипотезы о виде закона распределения статистических данных. До 
сих пор эта задача решается на уровне визуального анализа гистограммы. В данной статье пред- 
лагается методика автоматизации, и приводится компьютерная реализация выдвижения гипотезы 
о законе распределения на основе проведенного исследования в рамках диссертации автора, ра- 
нее результаты и основные выводы по предложенной методике можно найти в публикациях [1,2]. 
Обзор методов идентификации функции распределения. Выбор подходящего аналитиче- 
ского выражения с неизвестными параметрами является самым сложным этапом процедуры сгла- 
живания. Это объясняется тем, что задача плохо формализована, всегда существует опасность, 
что рассмотрены не все варианты законов распределения, решения необходимо принимать по 
ограниченному набору данных. 

На практике задачу идентификации решают на основе анализа: 

1) гистограммы и ее соответствия кривой теоретического распределения; 

2) числовых характеристик и их соответствия значениям теоретических числовых харак- 
теристик; 

3) фазовых портретов (структурных функций) [9]. 

С точки зрения автоматизации этот процесс полностью полагается на мнение исследова- 
теля. Легко можно автоматизировать второй пункт, но на основе соответствия только числовых 
характеристик сложно сделать выводы о законе распределения. Анализ же первого и второго 
пунктов не автоматизирован. Третий пункт также полагается на визуальное сравнение и выводы 

172 


Вестник ДГТУ, 2010. Т.10. №2(45) 








исследователя. Этот пробел в автоматизации предварительного анализа закона распределения 
эмпирических данных мы попытались исправить с помощью разработанного в рамках представ- 
ленной работы метода. 

Метод идентификации законов распределения на основе аппроксимативного 
анализа экспериментальных данных. Приведем алгоритм метода идентификации законов 
распределения на основе аппроксимации статистических данных в ряд Фурье в пространстве 1, 
через полиномы Лежандра. 

Алгоритм идентификации функции распределения. 

1. Рассмотрим эмпирические данные, объем выборки л варианта хе (а,Ь) 

2. Перейдем от отрезка (а) к отрезку (0,1) с помощью формулы: 
=. (1) 

Ь-а 

3. Частным случаем разложения функции в гильбертовом пространстве является разло- 
жение функции в ряд Фурье в пространстве Г. [-1, 1] через многочлены Лежандра [8]. В нашем 
случае будем рассматривать разложение в ряд Фурье через сдвинутые многочлены Лежандра в 
пространстве Г. [0, 1]. Аналитическое представление эмпирической функции распределения, по- 
строенной на отрезке (0,1), выражается формулой: 





1 





ЕО =Ус, РО, (2) 
1=0 
где многочлены Лежандра находим по формуле: 
14 о 
Р(ЁВ= - - (2—1 1). 3 
ое ЕТ (21-1)? -1) (3) 


Многочлены Лежандра программно вычисляем с помощью рекуррентного соотношения 
[10]: 
((-ПР. (21-1) = (21+10(21-ПР. (21-1 1. (21-1} 


РИ-20 = (-0'Р,(01-1,  ВФ=Ь Р(-0=(С). 


Коэффициенты г. находим по формуле 


1 
в; =(21+1.[Е`(®.Р (4. (4) 
0 
И в силу того, что 
1 
у 1 
ГЕ’ =—а- : 
] ( ) К + 1 ( Миа) 


каждый коэффициент с, =с,(и) выражается через эмпирические начальные моменты распре- 


деления. Приведем Вы коэффициентов разложения: 

со = (1-1); 

с! =З(щ о); 

с =5(-2 и +3; -ш); 

сз =7(-5 и. +10; би. +); 

с. =-94 и; -35 и, +30; —10 1. + п). 
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4. Очевидно, следующей нашей задачей является оценка погрешности, возникающей 
при использовании этого метода, и нахождение необходимого количества элементов ряда Фурье. 
Дадим определение верхних и нижних сумм Дарбу. Пусть С; и =; соответственно верхняя и ниж- 
няя границы изменения РЁ) в элементарном интервале [х, х;.,| для разбиения 7 отрезка [а,6]. 


п п 
Числа 5(7)=>У 0, (хи -х,) и 5(2) =У2,(х.-х,) называются соответственно верхней и 
15 1=1 
нижней суммой Дарбу разбиения 2 [4. С.390]. 
В силу того, что система полиномов Лежандра ортогональна, но не нормирована, для 


1 
РЕ" 


применения равенство Парсеваля [8] коэффициенты с’ необходимо умножить на 


1 


* 


С. 


1 
м21+1 
Получаем равенство Парсеваля: 
Рико Е, 
ее. == 
10 


1=К+1 


Обозначим ©” = 


2 








Чтобы оценить количество коэффициентов с, ‚ необходимых при построении эмпириче- 
ской функции распределения Е” (1) , найдем следующую разность: 
2: ЕКО ЕЯ 
в: Убе, 
1=0 1=К+1 
Из сходимости ряда Фурье при А-›со следует =-›0. Таким образом, задавая требуемое 


|=" 








$ 
=>0, =-малое, мы можем оценить количество коэффициентов с; . Функция распределения моно- 
тонно возрастающая, следовательно, верхняя и нижняя границы изменения Ё”(2) в элементар- 


ном интервале [1, 1..,| соответственно равны: 
Ч =Фнь 87 @, 
где а«„- относительная накопленная частота. 
В нашей задаче для эмпирической функции Е“ (®) численное значение нормы необходимо 


оценить через верхние и нижние интегральные суммы Дарбу: 
п-1 2 1 п-1 
2 * *л2 2 
у; С =) я |8 г КЕ ) 4 < а в.) 
1=1 0 11 


Таким образом, получаем двустороннюю интервальную оценку, дающую погрешность 
метода 














п-1 2 К 22 *||2 к 2о*2 п 2 А 2*2 
У; С и. <|Е 2.6: я а. . 
1 1= 1= 1=1 1= 


Откуда следует выражение для нахождения верхней интервальной оценки: 


2 
п-1 К 
& = Уи = 
Ри 


ЕЕ 
Таким образом, задавая необходимое =, можно рассчитать количество членов разложе- 


у 
С; 





(5) 


ния в ряд Фурье. Количество коэффициентов разложения теоретической функции распределения 
будем брать равным количеству коэффициентов разложения эмпирической функции. 
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Получаем разложение эмпирической функции распределения через А начальных моментов 
распределения: 


к 0д-ВО+ои" т. (6) 


5. Проверим качество аппроксимации критерием «”-Мизеса при заданном уровне значи- 
мости о [7]. В общем случае критерий Мизеса является критерием согласия, т.е. критерием про- 
верки близости теоретического и эмпирического распределения. Выдвигается нулевая гипотеза 
при заданном уровне значимости & 

Но: Е" (®)=Ебу. 

В качестве меры различия теоретической функции распределения Р(х) и эмпирической 
Е’) по критерию Мизеса (критерию &”) выступает средний квадрат отклонений по всем значе- 
ниям аргумента х 


о? = ГЕ" РО АРС. 


Статистику критерия находим по следующей формуле: 


. и 2 
по? = в] яед-! в 
12и 151 И 

При неограниченном увеличении л существует предельное распределение статистики 
по”. Задав значение вероятности а, можно определить критические значения ла» (а). Проверка 
гипотезы о законе распределения осуществляется обычным образом: если фактическое значение 
по,’ окажется больше критического или равно ему, то согласно критерию Мизеса с уровнем зна- 
чимосСтиИ о гипотеза Ну о том, что закон распределения генеральной совокупности соответствует 
ЕС), должна быть отвергнута. 

Для проверки качества аппроксимации будем придерживаться следующего алгоритма: 

1) построим расчетную таблицу, состоящую из следующих столбцов: 


* 


1 м | Е Е; А; 


В таблице: : — порядковый номер эмпирических данных; х; — исходные упорядоченные ва- 
рианты; #; — пересчитанные варианты по формуле (1). В этой формуле а=тт(х), Б=тах(х); 
Е() — значения теоретической функции распределения, подсчитанные в каждой точке &. В каче- 
стве теоретического распределения Р(ё) выступает аналитическое разложение эмпирических дан- 
































ных в ряд Фурье в пространстве Г.› ‚ представленное формулой (5); Е — значения эмпирической 


функции распределения. В качестве значений эмпирического распределения принимаются значе- 


х ‚ 10,5 
ния, вычисленные по следующей формуле ЕЁ = ; А; — расчетные данные наблюдаемого 
п 





значения статистики, находятся по формуле Л, = (Е(#/)- Е”); 


1 п 
+>.4, ; 

2-п м 

3) критическое значение находим в зависимости от уровня значимости « в статистических 
таблицах, представленных, например, в [7]. Критическое значение при уровне значимости а=0,05 
равно: и-62"(0,05)=0,461; 

4) если пе?<по? (а), делаем вывод о том, что полученная аппроксимация не противоречит 
эмпирическим данным. 


2) наблюдаемое значение статистики поз? находим по формуле: и: ©? = 
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6. Аналогично изложенному методу разложения эмпирических данных в ряд Фурье вы- 
полняем разложение нескольких теоретических функций. Параметры распределения определяем 
с помощью статистических оценок методом наибольшего правдоподобия или методом моментов. 

Будем рассматривать Е(х) не на всей числовой прямой (-со; +), а на отрезке [а,Ь], пола- 


гая, что при малом 7у>0 Е(а) >у и1-Е(Ь)>у. 


Приведем основные формулы для разложения в ряд Фурье теоретической функции рас- 
пределения на основе начальных моментов распределения: 


_х-а, 


 Б-а’ 
о=Ус-Р о; 


1 





=. | Е.Р (0. 


В силу того, что 
1 
1 
[кои =——а-муы), 
я К+1 


каждый коэффициент с; выражается через начальные теоретические моменты ЛМ, распределе- 
ния. 
ты А * 
7. Составим нормированный вектор С (1) на основе коэффициентов с, . При подсчете ко- 


эффициентов 6. используем эмпирические начальные моменты на основе введенных данных. 


8. Составим эталонную матрицу С(&,/) на основе теоретических начальных моментов для 
нескольких, интересующих нас, распределений. Эталонная матрица пересчитывается автоматиче- 
ски на основе статистических оценок параметров распределения. 

9. Введем понятие = — близких функций. 

Пусть Ех) и Е”(х) — монотонно возрастающие функции с областью значений [0,1], назовем 
ЕС Е — близкой функцией Е”"(х) в пространстве Г», если можно подобрать такое = — малое, =>0, 
то для Ух выполняется равенство 


[®®-Е"@]|= =. 
10. Воспользуемся одним из двух критериев = — близости формы кривой эмпирической 
функции распределения к кривой теоретического распределения. 
Критерий 1. Пусть Ди Е (2) — соответственно теоретическая и эмпирическая функ- 
ции распределения, разложенные в ряд Фурье на отрезке [0,1] через многочлены Лежандра в 
ни НЙ 
пространстве >; с и с - вектора коэффициентов, соответствующие этим разложениям. Тогда, 
К * К 
если форма кривой ГР (1) = близка к форме кривой Е), то необходимо и достаточно, чтобы 


— —* 


р(с,с ) =&, в 5, >20. 
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Доказательство. Расстояние между двумя функциями определяется выражением 
р(Е,Е”)= | = Е"|. Согласно равенству Парсеваля имеем: 
[6] + 2 
.(-с,)* =| 
1 


У {ео рес) =Е. 
1=1 
Что и требовалось доказать. 


Критерий 2. Пусть Ди РГ (2) — соответственно теоретическая и эмпирическая функ- 
ЦИИ распределения, реже в ряд Фурье на отрезке [0,1] через многочлены Лежандра в 


|= 2. = 








пространстве Г; с и с. — нормированные вектора коэффициентов, соответствующие этим раз- 
ложениям. Тогда, если форма кривой И” (г) близка к форме кривой Е(Е), то необходимо и доста- 


точно, чтобы 





(е,с°) а. 


Доказательство. Пусть 2 является = — близкой функцией Р’, тогда |8 -Е "| ==. Пока- 





жем, что в этом случае 36<1, 6—1, 





— —* 
ег) 
Согласно равенству Парсеваля имеем: 


>(е, - =|Е- 


Тогда и только тогда получаем: 
(сс с-с)==? => т <> 


| 2 
| <> 


=& 





* 


"|=? +] 


2 




















«|2 








-2.(с', <) + = =(с” 











(@ 











*||2 2 2 
(_ ЕР-е+н 


(с,с)= 














Обозначим через б выражение, стоящее в правой части полученного равенства, 


*||2 я о 
|| -=? + 





=0. Покажем, что 6<1. Согласно неравенству — Коши-Буняковского, 











—* 


(6 


—* — 


(с. = С 


Покажем, 61. В силу утверждения 2 имеем, р(с,с°) = = при =- малое, =>0. 


—* Е 
- В 


Найдем чему равно предельное соотношение 


—* — 
=1, (с ,с)| < 1, следовательно, и 5<1. 














‚ так как С = 1, получаем 
































Таким образом, 











<[-с'|>==| 

















= а, 
-1+1- 





|“ Ы& =—>0 
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Таким образом, мы показали, что если Р является = — близкой функцией РЕ”, тогда 56</, 
— —* 
(сс )=0. 


Что и требовалось доказать. 

10. (— Выдвинуть гипотезу о законе распределения на основании критерия 1 или 2. 

11. Проверить гипотезу через критерий согласия @? — Мизеса при заданном уровне зна- 
ЧИМОСТИ @. 
Численный пример применения метода. Предположим, что выборочная совокупность эмпи- 
рических данных дана в табл.1. Эмпирические данные представляют собой типовое непрерывное 
распределение. С помощью метода эталонной функции выдвинуть гипотезу о законе распределе- 
ния. Точность разложения принять равной ==0,05. Проверить гипотезу о согласованности аппрок- 
симации эмпирическим данным при уровне значимости и=0,05 с помощью критерия Мизеса (‹?). 
Проверить выдвинутую гипотезу при уровне значимости а=0,05 с помощью критерия Мизеса (67). 


9—1, 









































Таблица 1 
Выборка эмпирических данных 
Х Х Х Х Х 

0,843 -0,327 0,727 -0,023 0,392 
0,354 0,277 0,752 0,351 1,59 
-0,449 1,02 1,03 1,44 -0,657 
0,657 0,645 0,746 0,348 0,37 
0,141 0,879 1,21 0,953 0,172 
0,643 0,0526 1,38 0,447 -0,314 
0,201 0,436 0,485 0,133 1,26 
-0,139 -0,46 0,684 0,565 0,385 
1,57 -0,209 1,36 0,852 1,26 
0,262 1,32 1,01 0,586 0,514 























Перейдем от переменных х; к переменным #; по формуле: 
_ х+0,657 _ х+0,657 
1,59+ 0,657 2,247 
Подсчитаем пять коэффициентов с, через эмпирические моменты по формуле (4): 
С"=(0,460842; 0,565035; 0,040092; -0,10971; -0,00572). 

Проверим, является ли достаточным пять первых членов разложения в ряд Фурье для 
достижения точности ==0,05. 

По формуле (6) получаем ==0,019, из чего делаем вывод о достаточности представления 
эмпирической функции распределения через пять первых членов разложения. 

Получена аппроксимация эмпирической функции распределения: 





Е” (6) =0,460842 + 0,565035(21 —1) + 0.040092 == > - 0,1097 © == 


-501-1) -0.00572С5 (1% 1-0? + +0(1°). 


На рисунке приведен график, построенный на основе аналитического разложения эмпи- 
рических данных в ряд Фурье. 
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Аппроксимация эмпирической функции распределения в ряд Фурье 
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Проверим гипотезу о согласованности аппроксимации эмпирическим данным при уровне 
значимости а=0,05 с помощью критерия Мизеса (а). Вычисления приведены в табл.?2. 































































































Таблица 2 
Исходные данные и результаты вычислений 

1 х, 1, Е) Е”, А; 

1 2 3 4 5 6 

1 -0,657 0 0,039895 0,01 0,000894 
2 -0,46 0,087672 0,034710 0,03 2,22Е-05 
3 -0,449 0,092568 0,035669 0,05 0,000205 
4 -0,327 0,146862 0,054451 0,07 0,000242 
5 -0,314 0,152648 0,057296 0,09 0,001069 
6 -0,209 0,199377 0,085816 0,11 0,000585 
7 -0,139 0,23053 0,109958 0,13 0,000402 
8 -0,0232 0,282065 0,157947 0,15 6,32Е-05 
9 0,0526 0,315799 0,194188 0,17 0,000585 
10 0,133 0,35158 0,236244 0,19 0,002139 
11 0,141 0,35514 0,240612 0,21 0,000937 
12 0,172 0,368936 0,25783 0,23 0,000775 
13 0,201 0,381842 0,274332 0,25 0,000592 
14 0,262 0,40899 0,310178 0,27 0,001614 
15 0,277 0,415665 0,319207 0,29 0,000853 
16 0,348 0,447263 0,362924 0,31 0,002801 
17 0,351 0,448598 0,364803 0,33 0,001211 
18 0,354 0,449933 0,366685 0,35 0,000278 
19 0,37 0,457054 0,376759 0,37 4,57Е-05 
20 0,385 0,463729 0,386259 0,39 1,4Е-05 
21 0,392 0,466845 0,390709 0,41 0,000372 
22 0,436 0,486426 0,418911 0,43 0,000123 
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Окончание табл.2 

























































































1 2 3 4 5 6 
23 0,447 0,491322 0,426015 0,45 0,000575 
24 0,485 0,508233 0,450687 0,47 0,000373 
25 0,514 0,521139 0,469624 0,49 0,000415 
26 0,565 0,543836 0,503059 0,51 4,82Е-05 
27 0,586 0,553182 0,516845 0,53 0,000173 
28 0,643 0,578549 0,554206 0,55 1,77Е-05 
29 0,645 0,579439 0,555514 0,57 0,00021 
30 0,657 0,58478 0,563351 0,59 0,00071 
31 0,684 0,596796 0,580929 0,61 0,000845 
32 0,727 0,615932 0,608716 0,63 0,000453 
33 0,746 0,624388 0,620890 0,65 0,000847 
34 0,752 0,627058 0,624719 0,67 0,00205 
35 0,843 0,667557 0,681676 0,69 6,9ЗЕ-05 
36 0,852 0,671562 0,687174 0,71 0,000521 
37 0,879 0,683578 0,703498 0,73 0,000702 
38 0,953 0,716511 0,746733 0,75 1,07Е-05 
39 1,01 0,741878 0,778272 0,77 6,84Е-05 
40 1,02 0,746328 0,783626 0,79 4,06Е-05 
41 1,03 0,750779 0,788923 0,81 0,000444 
42 1,21 0,830886 0,872920 0,83 0,001842 
43 1,26 0,853138 0,891790 0,85 0,001746 
44 1,26 0,853138 0,891790 0,87 0,000475 
45 1,32 0,87984 0,911414 0,89 0,000459 
46 1,36 0,897641 0,922520 0,91 0,000157 
47 1,38 0,906542 0,927444 0,93 6,5ЗЕ-06 
48 1,44 0,933244 0,939556 0,95 0,000109 
49 1,57 0,991099 0,950793 0,97 0,000369 
50 1,59 1 0,950537 0,99 0,001557 


























В табл.2: Е”‚=(:-0,5)/50 — значения эмпирической функции распределения; Е@)) - значе- 
ния функции распределения, подсчитанные с помощью аппроксимации в ряд Фурье; 
А; =(Е@)- ии — расчетные данные наблюдаемого значения статистики, У`/,=0,031118. 

Наблюдаемое значение статистики пол? находим по формуле: 


50 
Е +УЛ, = 0,03278. 
12.50 = 
Критическое значение при уровне значимости а=0,05 равно п'4(0,05)=0,461. 
Наблюдаемое значение ис’ меньше критического, следовательно, полученная аппрокси- 
мация не противоречит эмпирическим данным. На основе предложенных критериев выдвинем 
гипотезу о принадлежности эмпирических данных одному из четырех типовых распределений. 
Критерий №1. Найдем минимальное расстояние между эмпирической и теоретической 
функциями. Эталонная матрица для этого примера принимает вид: первая строка — равномерный 
закон, вторая — экспоненциальный закон, третья — закон Лапласа, четвертая — нормальный 
закон: 
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0,5 0,5 о о о 0,460842)') (0.139427 
0,4608 -0,1267 -3,3788 -2519 -256,45| | 0,565035 257,7609 
0,4608 1,3624 — -1,4204 О р и | 22,26656 
0,4608 0,5650 0,0267 - 0,1891 -0,0837 - 0.00572 0,112084 


В силу критерия № 1 минимальное расстояние между векторами находится в четвертой 
строке, что дает право выдвинуть гипотезу, что выборка взята из нормальной генеральной сово- 
купности. 

Критерий №2. Эталонная матрица для этого примера принимает вид: первая строка - 
равномерный закон, вторая — экспоненциальный закон, третья — закон Лапласа, четвертая -— 
нормальный закон: 


0707107 0,707107 0 о о 0,6241) (0,982317 
0,0018 -0,0005 -0,0131 -0,1001 — -0,9949 | 0,7652 | |0,022604 
0,0207 0,061 -0,0637 -0,0872 0,9921 | б14з6| | 0.061486 
0,6077 0,7451 0,0352  -0,2494 — -0/1104)-0,0077) |0,989181 


Полученный вектор дает право выдвинуть гипотезу в силу критерия № 2 о том, что вы- 
борка взята из нормальной генеральной совокупности, так как максимально близкое значение к 1 
находится в четвертой строке, которая соответствует нормальному закону распределения. 

Проверим гипотезу о нормальном распределении с помощью критерия Мизеса при уровне 
значимости а=0,05. 

Проведя аналогичные вычисления приведенным в табл.2, получим наблюдаемое значение 

критерия, равное ие’=0,0235, критическое значение при уровне значимости а=0,05 равно 
по? =0,461. Следовательно, гипотеза А не противоречит имеющимся данным. 
Заключение. Таким образом, предложенный метод идентификации законов распределения на 
основе аппроксимативного анализа экспериментальных данных легко автоматизируется. Исход- 
ные данные не нуждаются в группировке. Метод позволяет выдвигать гипотезы о законе распре- 
деления на основе аппроксимации эмпирических данных, а не на основе визуального анализа 
гистограммы исследователем. 

Метод программно реализован на базе платформы 1С Предприятие 8.1. в рамках стати- 
стического пакета «Математическая статистика», а также в программном продукте: “Метод эта- 
лонной функции для определения типа распределения выборки” от 20.10.2007, на который авто- 
ром статьи получено свидетельство об отраслевой регистрации разработки № 9309. 
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